iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 4
0
Google Developers Machine Learning

Machine Learning 初體驗 (Google Developers ML)系列 第 4

【Day 4】 評斷 Machine Learning Model 的統計工具

  • 分享至 

  • xImage
  •  

想要看你的模型是好是壞, 我們不能僅從 準確率 來評斷,這邊介紹一個常用的工具來幫助大家評斷你的模型: Confusion matrix

有很多評斷模型的概念和這類似,就讓我們一起來搞懂它吧~

Confusion matrix : Evaluate your model

我們以例子來說明大家比較好來理解,今天我們有一套 AI 來判斷你有沒有病,那麼判斷的狀況就有以下四種可能:

  • True Positive : 你有病,AI 也判你有病
  • False Positive : 你有病,但 AI 判你沒病,又稱 Type 1 error
  • False Negative : 你沒病,但 AI 判你有病,又稱 Type 2 error
  • True Negative : 你沒病,AI 也判你沒病

想當然, True Positive 和 True Negative 是多多益善,但我們也不能輕忽 False Positive 及 False Negative 的重要性,這兩項 Error 往往就是讓我們 Model 能有更好表現的關鍵。

那這兩項 Error 我們該如何斟酌呢? 就拿我們上面看病的例子來說好了,當然是修正 Type 1 Error 才是最要緊的,哪天我死了,我一定恨死這套 AI。但如果今天情境是手機的指紋辨識呢,我當然不希望 Type 2 Error 的發生,不然我裡面的資料就被你看光了。從上面兩個比喻我們知道,究竟要修正 Type 1 Error 還是 Type 2 Error 真的是 Case by Case,必須依你的目標來做取捨。

Statistical Measurements

那接下來我們就來用上述的概念,來去算出我們統計數值,這邊介紹以下項常看到的數值:

  • Sensitivity : 是量化 避免假性 的判斷指標,可以想成找出多少病人真的有病,又被稱為 Recall
  • Specificity : 是量化 避免假性 的判斷指標,可以想成找出多少健康人不被判成有病
  • Accuracy : 這是最常且最直接的評斷方式,想成正確的結果到底占多少
  • Precision : 有時 Accuracy 可能不是最好的判斷方式,就是當我們 Positive 的可能性很少時,例如今天一套 AI 來猜大樂透,這時如果我們把 True Negative 拉高,不管甚麼數字我都判你不中,那它的 Accuracy 就達 99 那麼高,但實際做出的卻是一個垃圾玩具而已

Ok,今天結束,今天也算是整理一下我的統計小知識~


上一篇
【Day 3】Machine Learning 在商業上的應用
下一篇
【Day 5】 如何在 GCP 上租一台主機
系列文
Machine Learning 初體驗 (Google Developers ML)5
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

2 則留言

0
radream
iT邦新手 5 級 ‧ 2021-07-02 10:21:49

從google進來這邊,看到圖作得很精美,但是 label 跟 model predictions 位置對調就更好了.

0

我要留言

立即登入留言